Panoptic图像分割是计算机视觉任务，即在图像中查找像素组并为其分配语义类别和对象实例标识符。由于其在机器人技术和自动驾驶中的关键应用，图像细分的研究变得越来越流行。因此，研究社区依靠公开可用的基准数据集来推进计算机视觉中的最新技术。但是，由于将图像标记为高昂的成本，因此缺乏适合全景分割的公开地面真相标签。高标签成本还使得将现有数据集扩展到视频域和多相机设置是一项挑战。因此，我们介绍了Waymo Open DataSet：全景视频全景分割数据集，这是一个大型数据集，它提供了用于自主驾驶的高质量的全景分割标签。我们使用公开的Waymo打开数据集生成数据集，利用各种相机图像集。随着时间的推移，我们的标签是一致的，用于视频处理，并且在车辆上安装的多个摄像头保持一致，以了解全景的理解。具体而言，我们为28个语义类别和2,860个时间序列提供标签，这些标签由在三个不同地理位置驾驶的自动驾驶汽车上安装的五个摄像机捕获，从而导致总共标记为100k标记的相机图像。据我们所知，这使我们的数据集比现有的数据集大量数据集大的数量级。我们进一步提出了一个新的基准，用于全景视频全景分割，并根据DeepLab模型家族建立许多强大的基准。我们将公开制作基准和代码。在https://waymo.com/open上找到数据集。

Indoor scenes typically exhibit complex, spatially-varying appearance from global illumination, making inverse rendering a challenging ill-posed problem. This work presents an end-to-end, learning-based inverse rendering framework incorporating differentiable Monte Carlo raytracing with importance sampling. The framework takes a single image as input to jointly recover the underlying geometry, spatially-varying lighting, and photorealistic materials. Specifically, we introduce a physically-based differentiable rendering layer with screen-space ray tracing, resulting in more realistic specular reflections that match the input photo. In addition, we create a large-scale, photorealistic indoor scene dataset with significantly richer details like complex furniture and dedicated decorations. Further, we design a novel out-of-view lighting network with uncertainty-aware refinement leveraging hypernetwork-based neural radiance fields to predict lighting outside the view of the input photo. Through extensive evaluations on common benchmark datasets, we demonstrate superior inverse rendering quality of our method compared to state-of-the-art baselines, enabling various applications such as complex object insertion and material editing with high fidelity. Code and data will be made available at \url{https://jingsenzhu.github.io/invrend}.

知识图完成最近已广泛研究，以通过主要建模图结构特征来完成三元组中的缺失元素，但对图形结构的稀疏性敏感。期望解决这一挑战的相关文本，例如实体名称和描述，充当知识图（kgs）的另一种表达形式（kgs）。已经提出了几种使用两个编码器的结构和文本消息的方法，但由于未能平衡它们之间的权重有限。并在推理期间保留结构和文本编码器，也遭受了沉重的参数。通过知识蒸馏的激励，我们将知识视为从输入到输出概率的映射，并在稀疏的kgs上提出了一个插件框架VEM2L，以将从文本和结构消息提取到统一的知识中融合知识。具体而言，我们将模型获取的知识分配为两个不重叠的部分：一个部分与训练三元组合的合适能力有关，可以通过激励两个编码者互相学习训练集来融合。另一个反映了未观察到的查询的概括能力。相应地，我们提出了一种新的融合策略，该策略由变量EM算法证明，以融合模型的概括能力，在此期间，我们还应用图形致密操作以进一步缓解稀疏的图形问题。通过结合这两种融合方法，我们最终提出了VEM2L框架。详细的理论证据以及定量和定性实验都证明了我们提出的框架的有效性和效率。

在本报告中，我们为Epic-kitchens-100多实体检索（miR）挑战提出了一个基于视频的预处理（VLP）解决方案\ cite {kevin202222222egovlp}。尤其是，我们将最近发布的EGO4D数据集\ cite {grauman2021ego4d}从预处理数据集，预处理目标和开发集中从egecentric vlp中提升。基于上述三个设计，我们开发了一个预验证的视频语言模型，该模型能够将其自我为中心的视频文本表示为mir基准。此外，我们设计了一种自适应多构度最大损失，以有效地微调模型并为可靠的推理配备双重效果技术。我们最好的单个模型在挑战测试集上获得了强劲的性能，其中47.39％的地图和61.44％的NDCG。该代码可在https://github.com/showlab/egovlp上找到。

现有的分布（OOD）检测方法通常在具有平衡的类别分布的培训集中进行基准测试。但是，在实际应用程序中，培训集具有长尾分配是很常见的。在这项工作中，我们首先证明现有的OOD检测方法通常会在训练集分布式分布时遭受重大性能降解。通过分析，我们认为这是因为模型难以区分少数尾巴级分配样本与真实的OOD样本，从而使尾巴类更容易被错误地检测为OOD。为了解决这个问题，我们提出了部分和不对称的监督对比学习（PASCL），该学习明确鼓励该模型区分尾级分配样本和OOD样品。为了进一步提高分布分类的准确性，我们提出了辅助分支列式，该辅助分支列出了BN的两个单独分支和分类层分别用于异常检测和分布分类。直觉是，分布和OOD异常数据具有不同的基础分布。我们的方法的表现优于先前的最新方法$ 1.29 \％$，$ 1.45 \％$，$ 0.69 \％$ $ $ $ $ $ $异常检测误报（FPR）和$ 3.24 \％\％$，$ 4.06 \％$，$ 7.89 \％$ $ CIFAR10-LT，CIFAR100-LT和IMAGENET-LT的分布分类精度。代码和预培训模型可在https://github.com/amazon-research/long-tailed-ood-detection上找到。

后门学习是研究深神经网络（DNNS）脆弱性的一个新兴而重要的话题。在快速武器竞赛的地位上，正在连续或同时提出许多开创性的后门攻击和防御方法。但是，我们发现对新方法的评估通常是不可思议的，以验证其主张和实际绩效，这主要是由于快速发展，不同的环境以及实施和可重复性的困难。没有彻底的评估和比较，很难跟踪当前的进度并设计文献的未来发展路线图。为了减轻这一困境，我们建立了一个名为Backdoorbench的后门学习的全面基准。它由一个可扩展的基于模块化的代码库（当前包括8个最先进（SOTA）攻击和9种SOTA防御算法的实现），以及完整的后门学习的标准化协议。我们还基于5个模型和4个数据集，对9个防御措施的每对8次攻击进行全面评估，总共8,000对评估。我们从不同的角度进一步介绍了对这8,000次评估的不同角度，研究了对国防算法，中毒比率，模型和数据集对后门学习的影响。 \ url {https://backdoorbench.github.io}公开获得了Backdoorbench的所有代码和评估。

为了实现一般的视觉问题回答（VQA）系统，必须学会回答需要在图像和外部知识上进行组成推理的更深入的问题。同时，应明确并可以解释推理过程，以了解模型的工作机制。对于人类而言，这毫不费力，但对于机器来说具有挑战性。在本文中，我们提出了一个层次图神经模块网络（HGNMN），该网络将其用于具有神经模块的多层图上的原因来解决上述问题。具体而言，我们首先通过视觉，语义和常识视图从多层图编码图像，因为支持答案的线索可能以不同的方式存在。我们的模型由几个精心设计的神经模块组成，这些神经模块在图形上执行特定的功能，这些模块可用于在不同图表内和之间进行多步推理。与现有的模块化网络相比，我们将视觉推理从一个图扩展到更多图。我们可以根据模块的权重和图形关注来明确跟踪推理过程。实验表明，我们的模型不仅可以在CRIC数据集上实现最先进的性能，而且还获得了明确且可解释的推理程序。

通常通过过去的选择来告知机器学习中的评估，例如要使用哪些数据集或指标。该标准化可以使用排行榜对平等基础进行比较，但是随着出现更好的替代方案，评估选择变得不佳。这个问题在自然语言生成中尤其相关，该语言需要不断改善的数据集，指标和人类评估以提出确定性的主张。为了使遵循最佳模型评估实践更加容易，我们介绍了GEMV2。新版本的一代，评估和指标基准为数据集，模型和指标开发人员提供了模块化基础架构，以使彼此受益。GEMV2支持40种记录的数据集中51种语言。所有数据集的模型都可以在线评估，我们的交互式数据卡创建和渲染工具使得在Living Benchmark中添加新数据集变得更加容易。

最初受生物神经网络（BNN）启发的人工神经网络（ANN）在许多任务（例如视觉表示学习）中取得了巨大的成功。但是，由于缺乏有效的工具来链接和互为两个不同的域，并且缺乏代表的一般有效的框架，ANN和BNN中的视觉表示之间是否存在语义相关性/连接仍然很大程度上尚未探索。 BNN中的视觉语义，例如人类功能性脑网络（FBN）。为了回答这个问题，我们提出了一个新颖的计算框架，即同步激活（同步性），以基于自然主义的功能磁共振成像（NFMRI）数据来对人脑中的ANN和BNN之间的视觉表示空间和语义进行。通过这种方法，我们能够在第一次以人类脑成像得出的生物学上有意义的描述中对神经元进行注释。我们在两个公开观看的NFMRI数据集上评估了同步操作框架。该实验证明了a）FBN中视觉表示与各种卷积神经网络（CNN）模型中的视觉表示之间的显着相关性和相似性； b）CNN的视觉表示与BNN的相似性与其在图像分类任务中的性能之间的紧密关系。总体而言，我们的研究介绍了一个一般有效的范式，以融入ANN和BNNS，并为未来的研究提供新的见解，例如脑启发的人工智能。

确定复杂系统背后的因果关系在不同领域（例如决策，政策实施和管理建议）中起着重要作用。但是，关于时间事件序列数据的现有因果关系研究主要集中于单个因果发现，这是无法利用合并因果关系的。为了填补在时间事件序列数据上发现发现的合并原因，消除和募集原则被定义以平衡因果组合的有效性和可控性。我们还基于反应点过程来利用Granger因果关系算法来描述实体之间的燃料或抑制行为模式。此外，我们设计了“电动电路”的信息性和美学视觉隐喻，以编码汇总因果关系，以确保我们的因果关系可视化是非重叠和不相互作用的。各种排序策略和聚合布局也嵌入了我们基于平行的，定向和加权的超图中，以说明合并因果关系。我们开发的合并因果关系视觉分析系统可以帮助用户有效地探索合并的原因以及个人原因。这种交互式系统支持多样化的订购策略以及重点和上下文技术，以帮助用户获得不同级别的信息抽象。通过进行试验用户研究和事件序列数据的两项案例研究，进一步评估了系统的有用性和有效性。